José de San Martín sinh vào ngày 25 tháng 12 năm 1778 tại Yapeyú, một ngôi làng nhỏ ở tỉnh Corrientes, phía Đông Bắc Argentina. Ông là con thứ năm (đồng thời là con út) của một người Tây Ban Nha tên là Juan de San Martín y Gómez (sinh tại Cervatos de la Cueza vào ngày 12 tháng 2 năm 1728) và người vợ Gregoria Matorras.

Kể từ năm 1774, cha của ông trở thành một viên thượng úy dưới quyền của quan Tổng đốc Tây Ban Nha, đóng quân tại dòng sông Bạc (river Plate).[5] Vào năm 1781, gia đình ông dời đến Buenos Aires.

Vào năm 1785, thân phụ San Martín dời đến Tây Ban Nha. Khi đó, San Martín tám tuổi,[6] ông theo cha sang Madrid và theo học môn văn học quý tộc Tây Ban Nha, trong trường "Real Seminario de Nobles". Vào năm 1789, ông gia nhập quân đội Tây Ban Nha và phục vụ trong các đơn vị bộ binh và kỵ binh.

Ông từng tham gia các trận đánh trên đất liền và trên biển trong quân đội Tây Ban Nha, ông từng giao chiến với quân Hồi giáo Moors, quân Pháp và cả quân Anh nữa. Trong chiến đấu, San Martín luôn tỏ ra là một sĩ quan ưu tú, luôn đúc rút được nhiều kinh nghiệm chiến trận.[7]

Cũng trong thời gian này, ông bắt đầu cảm thấy thất vọng đối với nền quân chủ Tây Ban Nha, nên đã bí mật tham gia một tổ chức mang tên là "Băng nhóm Lautaro", mục đích, tôn chỉ của nhóm này là giải phóng thuộc địa Nam Mỹ khỏi ách đô hộ của thực dân Tây Ban Nha. Trong nhóm này, ông trở thành một "sư đệ" của Bernardo O'Higgins.[8]